Start line:  
End line:  

Snippet Preview

Snippet HTML Code

Stack Overflow Questions
  /*
   * Licensed under the Apache License, Version 2.0 (the "License");
   * you may not use this file except in compliance with the License.
   * You may obtain a copy of the License at
   *
   *     http://www.apache.org/licenses/LICENSE-2.0
   *
   * Unless required by applicable law or agreed to in writing, software
   * distributed under the License is distributed on an "AS IS" BASIS,
  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  * See the License for the specific language governing permissions and
  * limitations under the License.
  */
 package com.facebook.presto.operator;
 
 
 import java.util.List;
 
 import static com.facebook.presto.spi.type.BigintType.BIGINT;
 import static com.google.common.base.Preconditions.checkArgument;
 import static com.google.common.base.Preconditions.checkNotNull;
 import static com.google.common.base.Preconditions.checkState;
 
 public class SampleOperator
         implements Operator
 {
     public static class SampleOperatorFactory
             implements OperatorFactory
     {
         private final int operatorId;
         private final double sampleRatio;
         private final boolean rescaled;
 
         private final List<Typetypes;
         private boolean closed;
 
         public SampleOperatorFactory(int operatorIddouble sampleRatioboolean rescaledList<TypesourceTypes)
         {
             this. = operatorId;
             this. = sampleRatio;
             this. = rescaled;
             this. = ImmutableList.<Type>builder()
                     .addAll(checkNotNull(sourceTypes"sourceTypes is null"))
                     .add()
                     .build();
         }
 
         @Override
         public List<TypegetTypes()
         {
             return ;
         }
 
         @Override
         public Operator createOperator(DriverContext driverContext)
         {
             checkState(!"Factory is already closed");
             OperatorContext operatorContext = driverContext.addOperatorContext(SampleOperator.class.getSimpleName());
             return new SampleOperator(operatorContext);
         }
 
         @Override
         public void close()
         {
              = true;
         }
     }
 
     private final OperatorContext operatorContext;
     private final List<Typetypes;
     private final PageBuilder pageBuilder;
     private final RandomDataGenerator rand = new RandomDataGenerator();
     private final double sampleRatio;
     private final boolean rescaled;
     private final int sampleWeightChannel;
     private boolean finishing;
 
     private int position = -1;
     private Page page;
 
     public SampleOperator(OperatorContext operatorContextdouble sampleRatioboolean rescaledList<Typetypes)
     {
         //Note: Poissonized Samples can be larger than the original dataset if desired
         checkArgument(sampleRatio > 0, "sample ratio must be strictly positive");
 
         this. = checkNotNull(operatorContext"operatorContext is null");
         this. = ImmutableList.copyOf(types);
         this. = new PageBuilder(types);
         this. = types.size() - 1;
         this. = sampleRatio;
         this. = rescaled;
     }
 
     @Override
    {
        return ;
    }
    @Override
    public List<TypegetTypes()
    {
        return ;
    }
    @Override
    public final void finish()
    {
         = true;
    }
    @Override
    public final boolean isFinished()
    {
        return  && .isEmpty() &&  == null;
    }
    @Override
    public final boolean needsInput()
    {
        return ! && !.isFull() &&  == null;
    }
    @Override
    public void addInput(Page page)
    {
        checkState(!"Operator is already finishing");
        checkNotNull(page"page is null");
        checkState(!.isFull(), "Page buffer is full");
        checkState(this. == null"previous page has not been completely processed");
        this. = page;
        this. = 0;
    }
    @Override
    public Page getOutput()
    {
        if ( != null) {
            while ( < .getPositionCount() && !.isFull()) {
                long repeats = .nextPoisson();
                if ( && repeats > 0) {
                    repeats *= .nextPoisson(1.0 / );
                }
                if (repeats > 0) {
                    // copy input values to output page
                    // NOTE: last output type is sample weight so we skip it
                    .declarePosition();
                    for (int channel = 0; channel < .size() - 1; channel++) {
                        Type type = .get(channel);
                        type.appendTo(.getBlock(channel), .getBlockBuilder(channel));
                    }
                    .writeLong(.getBlockBuilder(), repeats);
                }
                ++;
            }
            if ( >= .getPositionCount()) {
                 = null;
            }
        }
        // only flush full pages unless we are done
        if (.isFull() || ( && !.isEmpty())) {
            Page page = .build();
            .reset();
            return page;
        }
        return null;
    }
New to GrepCode? Check out our FAQ X